บรรพบุรุษของนายสังข์ อยู่ในประเทศจีน ที่อำเภอเท่งไฮ้ จ.แต้จิ๋ว มณฑลกวางตุ้ง อพยพเข้ามาตั้งถิ่นฐาน ณ ปากน้ำ เจ้าพระยา เมื่อปี พ.ศ. 2396 ระหว่างเกิดสงครามไท่ผิง ต้นตระกูลโดย นายเส็ง แซ่ลิ้ม ซึ่งเป็นบุตรของนายเอี๊ยะ แซ่ลิ้ม ได้อพยพมาอยู่ประเทศไทยและแต่งงานกับหญิงไทยชื่อ แช่ม และได้ให้กำเนิดบุตรชื่อนาย ฮะ (เจริญ) หรือผู้เป็นบิดาของนายสังข์ ในสมัยเด็กนั้น ครอบครัวของนายสังข์กินอยู่ลำบากยากแค้นมาก ในช่วงวัยศึกษาเล่าเรียน ด้วยความจน นายสังข์ถึงกับต้องอาศัยน้ำกินแทนอาหารกลางวันเกือบทุกมื้อ จนเพื่อนๆตั้งฉายาว่า ไอ้อูฐ นายสังข์ขยันเรียนมาก และสามารถสอบข้ามชั้นมัธยม 4 ไปยังชั้นมัธยม 6 ได้ในทันที แต่การขยันเรียนหนังสือมากจนเกินไป ส่งผลให้สายตาเสีย เนื่องจากใช้เทียนไขส่องดู เพราะยังไม่มีไฟฟ้าใช้ ทำให้นายสังข์ต้องสวมแว่นตาสั้นตั้งแต่อายุ 16 ปี นายสังข์เป็นเด็กบ้านนอกเข้ากรุงโดยแท้ ขนาดว่า สวมรองเท้ายังผิดข้าง และเพิ่งรู้จักการใช้ช้อนส้อมรับประทานอาหาร ครั้งเมื่อมาศึกษาอยู่ที่วัดบวรฯ การที่นายสังข์ได้ศึกษาอยู่ที่วัดบวรฯ ทำให้นายสังข์ ได้มีโอกาสอ่านหนังสือดีๆในห้องสมุดของวัดมากมาย โดยเฉพาะที่เกี่ยวกับประวัติศาสตร์ นายสังข์ติดนิสัยชอบอ่านหนังสือและย่อเก็บเอาไว้ เพื่อนโดยทั่วไปจึงเรียกนายสังข์ว่า หนอนหนังสือ